Sequential recommendation is an important task to predict the next-item to access based on a sequence of interacted items. Most existing works learn user preference as the transition pattern from the previous item to the next one, ignoring the time interval between these two items. However, we observe that the time interval in a sequence may vary significantly different, and thus result in the ineffectiveness of user modeling due to the issue of \emph{preference drift}. In fact, we conducted an empirical study to validate this observation, and found that a sequence with uniformly distributed time interval (denoted as uniform sequence) is more beneficial for performance improvement than that with greatly varying time interval. Therefore, we propose to augment sequence data from the perspective of time interval, which is not studied in the literature. Specifically, we design five operators (Ti-Crop, Ti-Reorder, Ti-Mask, Ti-Substitute, Ti-Insert) to transform the original non-uniform sequence to uniform sequence with the consideration of variance of time intervals. Then, we devise a control strategy to execute data augmentation on item sequences in different lengths. Finally, we implement these improvements on a state-of-the-art model CoSeRec and validate our approach on four real datasets. The experimental results show that our approach reaches significantly better performance than the other 11 competing methods. Our implementation is available: https://github.com/KingGugu/TiCoSeRec.
translated by 谷歌翻译
U-shaped networks are widely used in various medical image tasks, such as segmentation, restoration and reconstruction, but most of them usually rely on centralized learning and thus ignore privacy issues. To address the privacy concerns, federated learning (FL) and split learning (SL) have attracted increasing attention. However, it is hard for both FL and SL to balance the local computational cost, model privacy and parallel training simultaneously. To achieve this goal, in this paper, we propose Robust Split Federated Learning (RoS-FL) for U-shaped medical image networks, which is a novel hybrid learning paradigm of FL and SL. Previous works cannot preserve the data privacy, including the input, model parameters, label and output simultaneously. To effectively deal with all of them, we design a novel splitting method for U-shaped medical image networks, which splits the network into three parts hosted by different parties. Besides, the distributed learning methods usually suffer from a drift between local and global models caused by data heterogeneity. Based on this consideration, we propose a dynamic weight correction strategy (\textbf{DWCS}) to stabilize the training process and avoid model drift. Specifically, a weight correction loss is designed to quantify the drift between the models from two adjacent communication rounds. By minimizing this loss, a correction model is obtained. Then we treat the weighted sum of correction model and final round models as the result. The effectiveness of the proposed RoS-FL is supported by extensive experimental results on different tasks. Related codes will be released at https://github.com/Zi-YuanYang/RoS-FL.
translated by 谷歌翻译
联合学习(FL)是一种趋势培训范式,用于利用分散培训数据。 FL允许客户端在本地更新几个时期的模型参数,然后将它们共享到全局模型以进行聚合。在聚集之前,该训练范式具有多本地步骤更新,使对抗性攻击暴露了独特的漏洞。对手训练是一种流行而有效的方法,可以提高网络对抗者的鲁棒性。在这项工作中,我们制定了一种一般形式的联邦对抗学习(FAL),该形式是从集中式环境中的对抗性学习改编而成的。在FL培训的客户端,FAL具有一个内部循环,可以生成对抗性样本进行对抗训练和外循环以更新本地模型参数。在服务器端,FAL汇总了本地模型更新并广播聚合的模型。我们设计了全球强大的训练损失,并将FAL培训作为最小最大优化问题。与依赖梯度方向的经典集中式培训中的收敛分析不同,由于三个原因,很难在FAL中分析FAL的收敛性:1)Min-Max优化的复杂性,2)模型未在梯度方向上更新聚合之前的客户端和3)客户间异质性的多局部更新。我们通过使用适当的梯度近似和耦合技术来应对这些挑战,并在过度参数化的制度中介绍收敛分析。从理论上讲,我们的主要结果表明,我们的算法下的最小损失可以收敛到$ \ epsilon $ Small,并具有所选的学习率和交流回合。值得注意的是,我们的分析对于非IID客户是可行的。
translated by 谷歌翻译
胃肠道内窥镜手术(GES)对仪器的大小和远端灵巧性有很高的要求,因为内窥镜通道狭窄和曲折的人类胃肠道。本文利用镍钛(NITI)电线来开发微型3-DOF(俯仰 - 翻译)柔性平行机器人手腕(FPRW)。此外,我们在手腕的连接界面上组装了一把电刀,然后对其进行了毛细管,以在猪胃中进行内窥镜粘膜下清扫术(ESD)。每个ESD工作流程中的有效性能证明了设计的FPRW具有足够的工作空间,高远端灵量和高定位精度。
translated by 谷歌翻译
人的大脑位于复杂的神经生物学系统的核心,神经元,电路和子系统以神秘的方式相互作用。长期以来,了解大脑的结构和功能机制一直是神经科学研究和临床障碍疗法的引人入胜的追求。将人脑作为网络的连接映射是神经科学中最普遍的范例之一。图神经网络(GNN)最近已成为建模复杂网络数据的潜在方法。另一方面,深层模型的可解释性低,从而阻止了他们在医疗保健等决策环境中的使用。为了弥合这一差距,我们提出了一个可解释的框架,以分析特定的利益区域(ROI)和突出的联系。提出的框架由两个模块组成:疾病预测的面向脑网络的主链模型和全球共享的解释发生器,该模型突出了包括疾病特异性的生物标志物,包括显着的ROI和重要连接。我们在三个现实世界中的脑疾病数据集上进行实验。结果证明了我们的框架可以获得出色的性能并确定有意义的生物标志物。这项工作的所有代码均可在https://github.com/hennyjie/ibgnn.git上获得。
translated by 谷歌翻译
尽管最近在半监督联合学习(FL)进行医学图像诊断方面取得了进展,但未确定未标记的客户之间的类别分布不平衡的问题仍未解决。在本文中,我们研究了类不平衡的半监督FL(IMFED-SEMI)的实用但具有挑战性的问题,该问题使所有客户端仅具有未标记的数据,而服务器只有少量标记的数据。新型动态银行学习计划解决了这个IMFED-SEMI问题,该计划通过利用班级比例信息来改善客户培训。该方案由两个部分组成,即,为每个本地客户端提取各种类比例的动态银行构建,以及分类分类,以强加本地模型以学习不同的类比例。我们评估了两个公共现实世界中医学数据集的方法,包括25,000 CT切片的颅内出血诊断和10,015个皮肤镜图像的皮肤病变诊断。与第二好的精度以及全面的分析研究相比,我们的方法的有效性已得到了显着改善(7.61%和4.69%)的验证(7.61%和4.69%)。代码可在https://github.com/med-air/imfedsemi上找到。
translated by 谷歌翻译
计算机断层扫描(CT)在临床实践中非常重要,因为它强大的能力在没有任何侵入性检查的情况下提供患者的解剖信息,但其潜在的辐射风险引起了人们的关注。基于深度学习的方法在CT重建中被认为是有希望的,但是这些网络模型通常是通过从特定扫描协议获得的测量数据进行训练的,并且需要集中收集大量数据,这将导致严重的数据域移动,并引起隐私问题。 。为了缓解这些问题,在本文中,我们提出了一种基于超网络的联合学习方法,用于个性化CT成像,称为超fed。超fed的基本假设是,每个机构的优化问题可以分为两个部分:本地数据适应问题和全局CT成像问题,这些问题分别由机构特定的超网络和全球共享成像网络实现。全球共享成像网络的目的是从不同机构学习稳定而有效的共同特征。特定于机构的超网络经过精心设计,以获取超参数,以调节用于个性化本地CT重建的全球共享成像网络。实验表明,与其他几种最先进的方法相比,超档在CT重建中实现了竞争性能。它被认为是提高CT成像质量并达到没有隐私数据共享的不同机构或扫描仪的个性化需求的有希望的方向。这些代码将在https://github.com/zi-yuanyang/hyperfed上发布。
translated by 谷歌翻译
热红外(TIR)图像在为多光谱行人检测提供温度提示时已经证明了有效性。大多数现有方法直接将TIR模型注入基于RGB的框架或简单地集合两个模态的结果。然而,这可能导致较差的检测性能,因为RGB和TIR特征通常具有模态特定的噪声,这可能与网络的传播一起恶化。因此,这项工作提出了一种称为双向自适应注意栅极(BAA门)的有效和高效的跨型号融合模块。基于注意机制,设计了BAA门以蒸馏出信息特征,并重新校验渐近的表示。具体地,采用双向多阶段融合策略来逐步优化两种方式的特征,并在传播期间保持其特异性。此外,通过基于照明的权重策略引入了BAA栅极的自适应相互作用,以便于在BAA栅极中自适应地调整重新校准和聚集强度,并增强稳健性对照明变化。关于挑战性的Kaist DataSet的相当大的实验证明了我们对令人满意的速度的卓越性能。
translated by 谷歌翻译
人的凝视是一种成本效益的生理数据,揭示了人类的潜在注意力模式。选择性注意机制有助于通过忽略分散剂的存在,帮助认知系统专注于任务相关的视觉线索。由于这种能力,人类可以有效地从一个非常有限数量的训练样本中学习。灵感来自这种机制,我们旨在利用具有小型训练数据的医学图像分析任务的凝视。我们所提出的框架包括骨干编码器和选择性注意网络(SAN),用于模拟潜在的注意力。 SAN通过估计实际的人的凝视,隐含地编码与医学诊断任务相关的可疑区域。然后我们设计一种新颖的辅助注意力块(AAB),以允许从骨干编码器使用SAN的信息,以专注于选择性区域。具体而言,该块使用多针注意层的修改版本来模拟人类视觉搜索过程。请注意,SAN和AAB可以插入不同的底部,并且在配备有任务特定的头部时,该框架可用于多个医学图像分析任务。我们的方法经过证明在3D肿瘤分割和2D胸X射线分类任务中实现了卓越的性能。我们还表明,SAN的估计凝视概率图与由董事会认证的医生获得的实际凝视固定图一致。
translated by 谷歌翻译
用户表示对于在工业中提供高质量的商业服务至关重要。最近普遍的用户表示已经获得了许多兴趣,我们可以摆脱训练每个下游应用程序的繁琐工作的繁琐工作。在本文中,我们试图改善来自两个观点的通用用户表示。首先,提出了一种对比的自我监督学习范式来指导代表模型培训。它提供了一个统一的框架,允许以数据驱动的方式进行长期或短期兴趣表示学习。此外,提出了一种新型多息提取模块。该模块介绍了兴趣字典以捕获给定用户的主要兴趣,然后通过行为聚合生成其兴趣的面向的表示。实验结果证明了学习用户陈述的有效性和适用性。
translated by 谷歌翻译